package com.catmiao.sql;


import org.apache.spark.sql.*;

public class Spark10_source_csv {

    public static void main(String[] args) {

        // 构建SparkSQL的环境对象时，一般采用构建器模式
        // 构造器模式：构建对象
        SparkSession sparkSession = SparkSession
                .builder()
                .master("local[*]")
                .appName("SparkSQL")
                .getOrCreate();


        /**
         * csv: 将数据用逗号分割的数据文件
         */
        Dataset<Row> ds = sparkSession
                .read()
                .option("header","true") // 配置表头
                .option("sep",",") // 分隔符 默认 ,
                .csv("datas/sql/user.csv");

        ds.show();

        /**
         * 如果输出目录已经存在 那么sparksql默认会发生错误，如果不希望发生错误，需要修改配置，保存模式
         * append
         */
        ds
                .write()
                .mode("append")
                .option("header","true") // 配置表头
                .option("sep",",") // 分隔符 默认 ,
                .csv("output");

        sparkSession.close();
    }

}
